Результаты моих расчетов показывают, что между человеческими и сгенерированных стихами есть значимая разница для "фрактальной размерности" их эмбеддингов.

Пояснения - в статье Intrinsic Dimension Estimation for Robust Detection of AI-Generated Texts.

Вот гистограммы для ~1000 пар стихов:
( гистограммы... )

В боте verslibre обновление:

1) в модель добавлены отдельными жанрами рэп и рубаи
2) для рэпа сделан отдельный ранжировщик, учитывающий принятые в этом жанре особенности текстов.

Как обычно с генеративками, можно начеррипикать неплохих примеров.

( Read more... )

Что еще за "Литературная студия"?

Название пафосное, но как же без этого... Впрочем, звучит красивее, чем CoPoet :)

На самом деле идея масштабная, на грани осуществимости. И увлекательная. Потому что это Creative AI, то есть "Творческий ИИ". Вкратце задумка такая: реализовать на основе архитектуры чатбота (прежний проект https://github.com/Koziev/ ( Read more... )

Какая милая безделица: в датасете генеративной модели @verslibre_bot нет ни одного сэмпла с английским языком вообще.
Но запросы на английском она понимает :)
( Стихотворение )

К сожалению, вывод проекта в прод отнимает все время. Поэтому на лонгриды времени нет.
Пока хочу поделиться черрипиком генераций модельки, натренированной в инструктивном стиле. Все генерации получены по затравке "придумай продолжение: У лукоморья дуб зеленый":

( У Лукоморья дуб зеленый... )

Глуха, в прямом и переносном смысле!
Всё, пафос выключаю, и поделюсь несколькими картинками.

1) Беру генеративную модель стишков-пирожков (об этом немного тут), делаю с ее помощью 10,000 текстов стихов этого жанра. Каждый текст прогоняю через другую GPT-like модель, получаю так называемую перплексию. Ради полноты картины отмечу, что эта гэпэтэха ( Read more... )

Я собрал отдельного телеграм-бота с новой моделью генерации стишков-пирожков: https://t.me/sacred_deer_bot

Кидать туда можно команды в императивном стиле, например "сочини стишок про дождь". В датасете есть еще несколько типов команд, причем почти весь инструктивный датасет сгенерирован через openai API.
Если бот вернул "Что-то не получается ( Read more... )

Ссылка на pdf-ку с докладом на идущем сейчас DataFest 2023: https://disk.yandex.ru/i/gTn2AVzL-ItuvQ

Там есть ссылки на всякие пейперы по этой теме, цифры и графики.

Сделать эти нижеописанные измерения побудил вот этот пост: https://t.me/nlpcoreteam/37

Разумеется, мне хотелось бы избежать любой склонности генеративных моделей запомнить обучающие данные, так как это прямой путь к плагиату.

У меня под рукой есть несколько моделей генерации поэзии с разной архитектурой и емкостью, обученных на одинаковых данных ( Read more... )

Что-то вроде спойлера: подбиваю материалы для доклада по экспериментам с разными моделями, которые файнтюнятся на датасете со стихами. Результаты оцениваются с технической точки зрения - попадание в классический метр и рифмовка ( Read more... )